🦊Ultimate SD upscale

https://gyazo.com/d3b6f13de466be0cb0a17f2565d6f9e3

4Kや8Kといった超高解像度の画像を生成しようとすると誤家庭でもなければHires.fixを使っても計算量が多すぎて生成出来ません

そこで、画像を拡大してタイル状に分割 → それぞれをimage2image → 合体、とすることで鮮明で大きな画像を作ろうとしたのがこのTIleです

Tiled Diffusionで見るTileの弱点

やらなくて良いですが、Tileの仕組みを知るために少し基本的な部分を見ていきましょう

🪢カスタムノード

🟨画像を1024px × 1024pxにリサイズ

🟩一つのタイルの大きさを512px × 512pxに設定

つまり、左下の子犬の画像をキレイに4分割して、それぞれをimage2imageしたことになります

見て分かるように、タイルの境界線がハッキリ見えてしまうだけでなく、全体としてまとまりがありません

denoiseを下げれば多少ましになるとはいえ、これはTileの1つ目の大きな弱点です

overlap

🟩tile_overlapを256pxに設定

今度はタイルをキレイに並べるのではなく、少し重ねて並べます

https://gyazo.com/5f5d51e77955a55c8df142e45d8d12f5

この工夫によって境界線がわかりにくくなりました

他にもサンプリングステップ毎にタイルの並び方を変えたりと、境界線を目立たせないための工夫はいくつもあります

より細かく重ねれば境界線はわかりにくくなるかもしれませんが、当然生成する枚数も増える → 多くの時間がかかるためほどほどに

さて、これで完璧！と思ったら、いやちょっと待ってください？🤔

右下の方、子犬の中に子犬が錬成されてしまってます

Tileのもう一つの弱点

一度overlapを0、denoise 1にして生成してみましょう

https://gyazo.com/b180b2b157a72b030b099dcb6f7c046f

denoiseを下げてもそれは変わらず、犬の中に犬が錬成されてしまうわけですね

さてどうしましょう？

タイルごとにプロンプトを変える

一番シンプルなのがこの方法です

ただし、この方法はあまり使われていません

すべてのタイルに別々のプロンプトを書くなんてやってられない

Stable Diffusionはそれほどプロンプトに忠実に描けない

複雑なプロンプトのみならず、5つの車・赤い箱の上の青い玉、のような単純なプロンプトも基本的にうまく描けません

犬の顔の右上四分の一だけ、みたいなものも難しいでしょう

ControNet Tile

ただ、結果的にその画像になにが描かれているかStable Diffusionが理解しているような挙動をするため、これを利用します

🟦ControlNetApplyAdvancedノード

このworkflowのように、ControlNetのstrengthが1.0だと流石に強すぎてプロンプトの意味がないので少し下げたほうが良いですね

その他、広まってはいないが良さげなアイデア

overlap × ContolNet Tileでパーフェクトタイルアップスケール

🟩overlap 256px

🟦ControlNet Tile : strength 0.6

キレイな仕上がりですね！

🥳Ultimate SD upscale

オマタセシマシタ本題